Hijo de Christian Friedrich Rolle, músico y, algunos años después del nacimiento de su hijo, cantor del Liceo municipal de Magdeburgo. Fue de su padre de quien Johann Heinrich obtuvo su primera formación musical. En 1722 se mudó la familia a Magdeburgo.

Edición discográfica de la "Pasión según San Mateo" de Johann Heinrich Rolle

En el año 1734 obtuvo Johann Heinrich Rolle el puesto de organista en la Iglesia de San Pedro en Magdeburgo, que ocupó hasta 1737, mientras estudiaba derecho.  En 1740 fue nombrado violinista y, más tarde, violista de la orquesta de Federico II de Prusia. En 1746 regresó a Magdeburgo como organista de la Iglesia de San Juan. El padre de Rolle murió en 1751 y en 1752 lo sucedió como cantor del liceo y como director musical en el Altstädtisches Gymnasium, una escuela secundaria, siendo muy reconocido en este ámbito, incluso fuera de la región.

Rolle perteneció a la Sociedad del Miércoles fundada por Johann Wilhelm Ludwig Gleim, donde tuvo contacto con Heinrich Rathmann, Friedrich von Koepcken, Johann Bernhard Basedow, Johann Samuel Patzke, Friedrich Gabriel Resewitz, Gottfried Benedict Funk y Gotthilf Sebastian Rötger.

Sus composiciones se encuentran en la tradición del barroco tardío, aunque tienen ya tendencias del estilo galante y rococó. Dejó una gran cantidad de obras que hoy en día siguen siendo interpretadas. Murió en Magdeburgo, a los 69 años de edad. Rolle es recordado principalmente por su “Oratorio de Navidad”.